iOSWorld: A Benchmark for Personally Intelligent Phone Agents
iOSWorld：面向个人智能的电话Agent基准测试
🧭 移动端Agent评测 · 个人化推理 ★ 深度解读
Carnegie Mellon University
首个以持久用户身份为中心的交互式iOS模拟器基准，涵盖133个跨应用任务，强调个人化智能与多应用推理。
📌 工作参考价值（4 点）
- 构建跨应用的个性化评测：可借鉴其思路，在电商场景中构造包含用户历史订单、支付、邮件、客服、社交等多应用数据，设计需要跨应用推理和记忆的任务，评估Agent是否能理解用户偏好与上下文，而不是孤立执行单步指令。
- LLM-as-Judge的轨迹级评估：使用GPT-5.4-Mini对整个操作轨迹进行自动评判，人工验证κ=0.77，成本低且可靠。可直接迁移到Agent业务流程的离线评测，替代部分人工验收。
- 小模型对额外结构化上下文的利用瓶颈：视觉+XML模态下GPT-5.4-Mini和Qwen3.5不升反降，说明提供界面结构信息并非总是利好，容量小的模型会被额外token压垮。在工程中为Agent补充页面结构或工具描述时，需评估模型是否具备足够的上下文处理能力。
- 模拟器环境与种子数据设计：通过虚构用户、持久化种子数据构建可复现的测试环境，适合在隐私敏感且需要真实用户行为的电商推荐或Agent评测场景中快速构建仿真台。